Punktestimator. STK Bootstrapping og simulering - Kap 7 og eget notat. Bootstrapping - eksempel Hovedide: Siden λ er ukjent, bruk ˆλ:

Transkript

1 Punktestimator STK00 - Bootstrapping og simulering - Kap 7 og eget notat Geir Storvik 8. april 206 Trekke ut informasjon om parametre fra data x,..., x n Parameter av interesse: θ Punktestimator: Observator, funksjon av data som kan brukes til å estimere θ Punktestimat: Verdi av estimator når observasjonsverdier settes inn. ål på kvalitet: SE(ˆθ) = E[(ˆθ θ) 2 ] SE(ˆθ) = V (ˆθ) + }{{} (E(ˆθ) θ) 2 }{{} Varians (Forventningsskjevhet) 2 Ønskelig å rapportere både forventningsskjevhet og varians. Kan noen ganger regne ut fra antagelser om fordeling til X Alternativ : Asymptotiske tilnærminger Alternativ 2: Bruke simuleringer - bootstrapping X i, i =,..., n er levetidene til n komponenter Anta X i Exp(λ), E(X i ) = /λ Estimator: ˆλ = /X, Estimat: / = Varians til ˆλ: Variasjonen i ˆλ ved gjentatte eksperimenter der vi samler inn n = 0 observasjoner i hvert eksperiment. ulig metode for å finne varians: Repetere eksperiment mange ganger Problem: Vanskelig å repetere eksperiment i praksis. Løsning: Simulere eksperiment på datamaskin ATLAB : n = 0; B = 000; mu = / lambda ; for b=:b xstar = exprnd (mu,,n ) ; lambdasim (b) = /mean( xstar ) ; SE=sqrt ( var ( lambdasim ) ) Problem: å kjenne λ! Bootstrapping - eksempel Hovedide: Siden λ er ukjent, bruk ˆλ: x = [ ] ; n = 0; mu_hat = mean( x ) lambda_hat = / mu_hat B = 000; lambdasim = zeros (,B ) ; for b=:b x s t a r = exprnd ( mu_hat,, n ) ; lambdasim (b) = /mean( xstar ) ; SE = sqrt ( var ( lambdasim ) ) 5 kjøringer av disse komandoene gir standard feil verdiene En økning av B til 0000 ga tallene To kilder til usikkerhet: Usikkerhet i de opprinnelige observasjoner x,..., x n Usikkerhet i våre simuleringer I praksis: Usikkerhet i simuleringer svært små

2 Parametrisk Bootstrapping - generell idé Ikke-parametrisk Bootstrapping Anta X,..., X n F (x; θ), observert x,..., x n Estimer F (x; θ) med F(x; ˆθ) der ˆθ er estimat på θ basert på x,..., x n.. Repeter for b =,..., B. Simuler x,..., x n fra F (x; ˆθ).2 Sett θ b = ˆθ(x ) der x = (x,..., x n ) 2. Estimer σ ˆθ ved B B b= (θ b θ ) 2 der θ = B B b= θ b. Vi kaller dette Parametrisk bootstrapping da vi bruker den parametriske formen på F (x; θ). Anta X,..., X n F (x), vet ingenting om F (x). F(x) = P(X x) = E[I(X x)]. ulig estimat: F (x) = Antall x i x n = n (#x i x) = n n I(x i x) F(x) diskret sannsynlighetsfordeling med P(X = xi ) = n for i =,..., n. Svarer til å trekke fra {x,..., x n} med tilbakelegging i= - Ikke-parametrisk Bootsrapping Kunne vi brukt sentralgrenseteoremet? Parametrisk Bootstrapping - Ikke parametrisk Bootstrapping Observasjoner ATLAB kode: x = [ ] ; n = 0; B = 000; lambdasim = zeros (,B ) ; for b=:b x s t a r = randsample ( x, n, t r u e ) ; lambdasim (b) = /mean( xstar ) ; SE = sqrt ( var ( lambdasim ) ) ˆλ = /X: 5 gjentatte kjøringer av disse kommandoene ga standard feil Standardfeil har økt noe. ˆµ = X ˆλ = /X ikke gjennomsnitt, sentralgrenseteoremet kan ikke brukes ˆµ = X er et gjennomsnitt, men n = 0 litt lite.

3 Forventningsskjevhet Vi har Bias(ˆθ) = E[ˆθ] θ Fra data: Estimat på θ, ˆθ = ˆθ(x,..., x n ) Fra Bootstrap simuleringer: ˆθ = ˆθ(x,..., x n ), simulert med antagelse om at ˆθ er sann parameter. Bootstrap estimat: Bias(ˆθ) = θ ˆθ b i a s = mean( lambdasim) lambdahat Parametrisk bootstrapping: Bias(ˆθ) = Ikke-parametrisk bootstrapping: Bias(ˆθ) = Bootstrapping Estimat SE Bias Parametrisk Ikke-parametrisk Parametrisk Bootstrap: SE = = [ ] 0 5 = Ikke-par Bootstrap: SE = = [ ] 0 4 = Stokastisk simulering og onte Carlo integrasjon Bootstrapping: Simulering et verktøy for å få ut de svar vi ønsket Hvordan kan en datamaskin utføre simuleringer fra en vilkårlig fordeling? Hva annet kan vi bruke stokastisk simulering til? Simulering fra en vilkårlig fordeling datamaskinen en deterministisk boks få datamaskinen til å simulere hva vi kaller pseudotilfeldige tall dvs de tall vi får ut ligner på den fordeling vi er ute etter. Utgangspunktet for all stokastisk simulering er simulering av variable fra den uniforme fordeling på intervallet [0, ]. ATLAB : u = rand ( ) ; x = 0:0.025: n = h i s t c ( u, x ) ; bar ( x, n / ( sum( n ) ), ) ;

4 Inversjonsmetoden Ønsker nå å simulere fra en generell fordeling med kumulativ fordelingsfunksjon F. La U uniform[0, ] La X = F (U). Da er P(X x) =P(F (U) x) =P(U F (x)) = F(x) - eksponensiell fordeling Ønsker å trekke fra den eksponensielle fordeling f (x; λ) = λe λx. Da er F(x; λ) = e λx F (u) = λ log( u). Algoritme:. Generer u Uniform[0, ]. 2. Sett x = λ log( u) I ATLAB med λ =.5 kan flere variable genereres simultant ved kommandoene lambda =. 5 ; u = rand (,0000); x = log( u ) / lambda ; som viser at X da har kumulativ fordelingsfunksjon F. Kunne brukt direkte exprnd her - Cauchy fordeling Forkastningsmetoden Cauchy fordelingen er definert ved f (x) = π(+x 2 ) F(x) = 2 + π tan (x) F (u) = tan[π(u 2 )] ATLAB kommandoer: u = rand (,0000); x = tan ( pi ( u 0.5)) Anta nå vi ønsker å simulere fra en fordeling f (x) = 20x( x) 3, 0 < x < Spesialtilfelle av Beta fordelingen som er en mye brukt fordeling for observasjoner som er begrenset til intervallet [0, ]. Den kumulative fordelingsfunksjonen F (x) har ikke noe analytisk uttrykk Forkastningsmetoden: Anta en forslagsfordeling g(x) slik at f (x)/g(x) < c for alle x. algoritme:. Simuler y g( ). 2. Generer u Uniform[0, ] 3. Hvis u f (x)/(cg(x)), sett x = y, hvis ikke returner til trinn Proposisjon: X f (x) Sannsynligheten for å akseptere en generert y er /c Bevis: Oppgave 5.85 i Devore & Berk (202)

5 Valg av c Krav: f (x)/g(x) < c for alle x. c er et mål på hvor effektiv algoritmen er, P(Akseptere) = /c. Vanlig valg: c = min x f (x) g(x) erk: å ha g(x) > 0 for alle verdier der f (x) > 0. Anta igjen f (x) = 20x( x) 3, 0 < x < Forslag: g(x) = 0 < x <, uniform fordeling c = min x f (x) g(x) = min x 20x( x) 3 = 20 4 ( 4 )3 = 35/64 Algoritme: n = 0000; x = zeros (, n ) ; cinv = 64/35; for i =:n y = rand ( ) ; u = rand ( ) ; while ( u > 20 y ( y) ( y) ( y ) cinv ) y = rand ( ) ; u = rand ( ) ; x ( i ) = y ; onte Carlo integrasjon onte Carlo integrasjon - eksempel Anta av interesse: θ = cos(x)e x 2 /2 dx Kan omskrive integralet til θ = = 2π cos(x) 2π e x 2 /2 dx 2π cos(x)f (x)dx der f (x) nå er sannsynlighetstetthetsfunksjonen til standard normal fordelingen. Gir θ = E[ 2π cos(x)] der X N(0, ) Estimator: θ = i= 2π cos(xi ) der X,..., X m N(0, ) θ = i= 2π cos(xi ) ATLAB : = 0000; x = normrnd (0,,,) ; y = sqrt (2 pi ) cos ( x ) t h e t a h a t = mean( y ) ; Fem kjøringer av disse kommandoene ga verdiene Numerisk integrasjon: = ga

6 Egenskaper C integrasjon Kvantifisering av usikkerhet Har også θ = i= Y i der Y i = 2π cos(x i ) V ( θ) = V (Y i), σ θ = σ Yi Kan estimere V (Y i ) ved s 2 Y = i= (y i y) 2. : s cos(xi ) =.204 og ˆσ θ = P( θ 2σ θ θ θ + 2σ θ) =P( 2σ θ θ θ 2σ θ) Sentralgrenseteoremet P( 2 θ θ σ θ =P( 2 θ θ σ θ =P( 2 θ θ σ θ 2) 2). 2) P( 2 Z 2) = Φ(2) Φ( 2) = som gir P( θ 2σ θ θ θ + 2σ θ) : [ θ 2σ θ, θ + 2σ θ)] = [.599,.523] dekke den sanne verdi av θ med sannsynlighet 95.4% onte Carlo metoden Av interesse: θ = g(x)dx = g(x) f (x) f (x)dx krever at f (x) > 0 hvis g(x) > 0 Anta f (x) er en sannsynlighetstetthetsfunksjon. Da er ) θ = E ( g(x) f (X) der X f (x). Anta X,..., X n f (x), Y i = g(x i ) f (X i ). Estimator: θ = i= Egenskaper: E( θ) =θ Y i V ( θ) = V (Y ) σ θ = σ Y Av interesse: θ = 2 π(+x 2 ) dx La f (x) = (Cauchy fordeling) π(+x 2 ) θ = P(X 2) X,..., X n f (x). ˆθ = S i= Y i cauchyrnd.m og C_cauchy.m erk: Kan velge både og f (x).